当前位置: 开发笔记 > 编程语言 > 正文

大家伙|神社_大众点评封ip，还字体加密？我直呼，就这啊！

作者：去奥迪店买本驰 | 来源：互联网 | 2023-09-13 22:33

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大众点评封ip，还字体加密？我直呼，就这啊！相关的知识，希望对你有一定的参考价值。像旧巷子里的猫，

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大众点评封ip，还字体加密？我直呼，就这啊！相关的知识，希望对你有一定的参考价值。

像旧巷子里的猫&＃xff0c;我很自由&＃xff0c;但没有归宿

假如csdn有创作激励该多好&＃xff0c;那样就可以天天"水"博客了&＃xff01;

哈喽&＃xff0c;大家好&＃xff0c;上期给大家伙分享了一期微博数据的爬取
Python爬取微博评论数据&＃xff0c;竟被反爬封号了&＃xff01;

小夜斗花了将近5天滴时间肝出了一期与大众点评斗智斗勇的一期&＃xff0c;其实也没那么久&＃xff0c;思路其实挺清晰滴&＃xff0c;就其中一些小的细节处理挺费劲的&＃xff01;详细源码大家可以看文末自行获取&＃xff01;

“Python破解大众点评字体加密”

这期核心反爬措施是: 大众点评这个网址的字体信息专门保存在了一个文字字典当中&＃xff0c;需要你根据字体的位置从这个文字字典中获取!

一&＃xff1a;获取网页html文本信息与映射列表

上图为小夜斗将要抓取滴一个评论信息&＃xff0c;它在网页源码中显示如下&＃xff1a;有些文字信息并没有直接加载出来&＃xff0c;需要我们将其破解出来&＃xff01;

让我们写一段爬取网页html源码滴代码, url为评论区点击更多后显示的网页地址!(请注意大众点评对请求头的反爬机制非常严重&＃xff0c;如果没有评论信息可能就是请求头的问题&＃xff01;)

这段代码我们需要做的是获取每一个字体对应的隐射类属性以及整个html网页源代码&＃xff0c;具体代码如下所示&＃xff1a;

#coding:utf8 import requests import re from lxml import etree # TODO&＃xff1a; 评论区的信息并没有加载到网页当中(请求头问题) # 请求头 headers &＃61; &＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;Host&＃39;: &＃39;www.dianping.com&＃39;, &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36&＃39;, &＃39;COOKIE&＃39;: &＃39;_lxsdk_cuid&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _lxsdk&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _hc.v&＃61;9a0b663c-e5a8-7e01-077a-b8d4d7220afa.1597394220; s_ViewType&＃61;10; fspop&＃61;test; dper&＃61;7c9cd1b645ff07fe1fd65310a52d0eca184842b7256f2ef6b5bcb5de6f1d50d57f591dac67305a8997d64b4f32f280b3bb2f74d58210d10a0fcc57a335a1c1618e36e6a24b0e7784c40ef3a2583a5b8c7a65df07c94c25578fa6e7223abeec06; ua&＃61;dpuser_5191363077; ctu&＃61;d2a46ed772193566de2cd33b3ff8ea407fbae2e64a575314195403e2ec7f168a; cy&＃61;2; cye&＃61;beijing; ll&＃61;7fd06e815b796be3df069dec7836c3df; _lx_utm&＃61;utm_source%3Dwww.sogou%26utm_medium%3Dorganic; Hm_lvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612071553,1612071565,1612071610,1612092249; dplet&＃61;e77caddcb23d0ee50d83ede34e65a5da; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612102455; _lxsdk_s&＃61;17758c69b55-16e-a09-efe%7C%7C173&＃39; # 网址 url &＃61; &＃39;http://www.dianping.com/shop/H9FNPpCqj1Tu98oD/review_all&＃39; # 发起请求 r &＃61; requests.get(url&＃61;url, headers&＃61;headers) # 如果状态码为200显示正常 if r.status_code &＃61;&＃61; 200: print("访问成功") text &＃61; r.text.encode("gbk", "ignore").decode("gbk", "ignore") # 解决报错双重严格限制 print(text) # 转换为xpath对象 tree &＃61; etree.HTML(text) # 保存所有字体类隐射属性 class_list &＃61; [] # 字体映射列表列表属性 svgmtsi_list &＃61; tree.xpath(r&＃39;//div[&＃64;class&＃61;"main-review"]/div[&＃64;class&＃61;"review-truncated-words"]/svgmtsi/&＃64;class&＃39;) print(len(svgmtsi_list)) for svgmtsi in svgmtsi_list: class_list.append(svgmtsi) print(class_list) # 保存网页源码 # with open(&＃39;网页源代码.html&＃39;, &＃39;w&＃39;, encoding&＃61;&＃39;utf8&＃39;) as f: # f.write(text) else: print("被反爬了&＃xff01;小夜斗赶紧跑路&＃xff01;")

成功获取到评论区的html源码以及字体映射的类属性&＃xff0c;看了一下(源码内部是有文本信息的)

二&＃xff1a;找到存放字体信息滴css文件

要找到隐射关系&＃xff0c;首先咋们得获取到css文件&＃xff0c;获取其字体信息

代码如下&＃xff1a;

#coding:utf8 import requests import re from lxml import etree # TODO&＃xff1a; 评论区的信息并没有加载到网页当中(请求头问题) # 请求头 headers &＃61; &＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;Host&＃39;: &＃39;www.dianping.com&＃39;, &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36&＃39;, &＃39;COOKIE&＃39;: &＃39;_lxsdk_cuid&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _lxsdk&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _hc.v&＃61;9a0b663c-e5a8-7e01-077a-b8d4d7220afa.1597394220; s_ViewType&＃61;10; fspop&＃61;test; dper&＃61;7c9cd1b645ff07fe1fd65310a52d0eca184842b7256f2ef6b5bcb5de6f1d50d57f591dac67305a8997d64b4f32f280b3bb2f74d58210d10a0fcc57a335a1c1618e36e6a24b0e7784c40ef3a2583a5b8c7a65df07c94c25578fa6e7223abeec06; ua&＃61;dpuser_5191363077; ctu&＃61;d2a46ed772193566de2cd33b3ff8ea407fbae2e64a575314195403e2ec7f168a; cy&＃61;2; cye&＃61;beijing; ll&＃61;7fd06e815b796be3df069dec7836c3df; _lx_utm&＃61;utm_source%3Dwww.sogou%26utm_medium%3Dorganic; Hm_lvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612071553,1612071565,1612071610,1612092249; dplet&＃61;e77caddcb23d0ee50d83ede34e65a5da; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612102455; _lxsdk_s&＃61;17758c69b55-16e-a09-efe%7C%7C173&＃39; headers2 &＃61; &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36&＃39;, # 网址 url &＃61; &＃39;http://www.dianping.com/shop/H9FNPpCqj1Tu98oD/review_all&＃39; # 发起请求 r &＃61; requests.get(url&＃61;url, headers&＃61;headers) # 如果状态码为200显示正常 if r.status_code &＃61;&＃61; 200: print("访问成功") text &＃61; r.text.encode("gbk", "ignore").decode("gbk", "ignore") css_url &＃61; re.search(&＃39;, text)[1] # 拼接css_rul total_css_url &＃61; &＃39;http:&＃39; &＃43; css_url print(total_css_url) # TODO: 404 r1&＃xff0c;换个请求头 r1 &＃61; requests.get(url&＃61;total_css_url, headers&＃61;headers2) print(r1.status_code) text1 &＃61; r1.text.encode("gbk", "ignore").decode("gbk", "ignore") # 解决报错双重严格限制 # 保存css文件 print("我进来了保存了&＃xff01;") with open(&＃39;css字体映射.css&＃39;, &＃39;w&＃39;, encoding&＃61;&＃39;utf8&＃39;) as f: f.write(text1) # 保存css文件 else: print("被反爬了&＃xff01;小夜斗赶紧跑路&＃xff01;")

pycharm中css文件弄了很久格式化不了&＃xff0c;就转到java滴ideal中显示&＃xff0c;结果如下图所示&＃xff0c;每个字体的信息都保存在这个css文件中&＃xff01;

二&＃xff1a;找到字体css样式中滴url链接

字体css中对应者下了图中url, 通过一种映射关系能够将其找到&＃xff01;

将url复制到网页中显示的内容如下所示&＃xff1a;

写一个正则匹配出字体样式中的url链接&＃xff0c;代码如下所示&＃xff1a;

#coding:utf8 import requests import re from lxml import etree # TODO&＃xff1a; 评论区的信息并没有加载到网页当中(请求头问题) # 请求头 headers &＃61; &＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;Host&＃39;: &＃39;www.dianping.com&＃39;, &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36&＃39;, &＃39;COOKIE&＃39;: &＃39;_lxsdk_cuid&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _lxsdk&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _hc.v&＃61;9a0b663c-e5a8-7e01-077a-b8d4d7220afa.1597394220; s_ViewType&＃61;10; fspop&＃61;test; dper&＃61;7c9cd1b645ff07fe1fd65310a52d0eca184842b7256f2ef6b5bcb5de6f1d50d57f591dac67305a8997d64b4f32f280b3bb2f74d58210d10a0fcc57a335a1c1618e36e6a24b0e7784c40ef3a2583a5b8c7a65df07c94c25578fa6e7223abeec06; ua&＃61;dpuser_5191363077; ctu&＃61;d2a46ed772193566de2cd33b3ff8ea407fbae2e64a575314195403e2ec7f168a; cy&＃61;2; cye&＃61;beijing; ll&＃61;7fd06e815b796be3df069dec7836c3df; _lx_utm&＃61;utm_source%3Dwww.sogou%26utm_medium%3Dorganic; Hm_lvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612071553,1612071565,1612071610,1612092249; dplet&＃61;e77caddcb23d0ee50d83ede34e65a5da; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612102455; _lxsdk_s&＃61;17758c69b55-16e-a09-efe%7C%7C173&＃39; headers2 &＃61; &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36&＃39;, # 网址 url &＃61; &＃39;http://www.dianping.com/shop/H9FNPpCqj1Tu98oD/review_all&＃39; # 发起请求 r &＃61; requests.get(url&＃61;url, headers&＃61;headers) # 如果状态码为200显示正常 if r.status_code &＃61;&＃61; 200: print("访问成功") text &＃61; r.text.encode("gbk", "ignore").decode("gbk", "ignore") # 解决报错双重严格限制 # 获取存放映射关系css链接 css_url &＃61; re.search(&＃39;, text)[1] # 拼接css_rul total_css_url &＃61; &＃39;http:&＃39; &＃43; css_url print(total_css_url) # TODO: 404 r1&＃xff0c;换个请求头 r1 &＃61; requests.get(url&＃61;total_css_url, headers&＃61;headers2) print(r1.status_code) text1 &＃61; r1.text.encode("gbk", "ignore").decode("gbk", "ignore") # 解决报错双重严格限制 &＃39;&＃39;&＃39; svgmtsi[ class ^&＃61;"iz"] width: 14 px; height: 24 px; margin - top: -14 px; background - image: url( // s3plus.meituan.net / v1 / mss_0a06a47… / svgtextcss / 60 ff9a5….svg); background - repeat: no - repeat; display: inline - block; vertical - align: middle; &＃39;&＃39;&＃39; # svgmtsi[class^&＃61;"iz"]width: 14px;height: 24px;margin-top: -14px;background-image: url(//s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/60ff9a50fd0d7753c8ebc0178004f283.svg) # \\&＃xff1a;转译符号 svg_url &＃61; re.findall(r&＃39;svgmtsi\\[class\\^&＃61;"iz"\\].*?background-image: url\\((.*?)\\)&＃39;, text1) # print(svg_url) # 加一个http total_svg_url &＃61; &＃39;http:&＃39; &＃43; svg_url[0] print(total_svg_url) else: print("被反爬了&＃xff01;小夜斗赶紧跑路&＃xff01;")

获取到字体映射字典后我们可以查看其网页源代码&＃xff0c;每一行文字都有其对应的属性y&＃xff0c;这个属性是我们找字体位置所在行数的关键信息&＃xff0c;我们可以看到每一行这个属性是升序的&＃xff01;
ps:

ps: 大众点评滴网址好像每天都在变&＃xff0c;上面这个代码运行的话需要改一个参数&＃xff0c;今天小夜斗在看这个网址的时候已经是svg_rul, 注意class里面的参数改变了&＃xff0c;大家自己也可以查一下自己网址对应的class参数&＃xff0c;大众点评还是挺狡猾滴&＃xff0c;顺便提一下&＃xff0c;COOKIE参数也要是全部评论网页滴那个COOKIE&＃xff0c;大众点评每个网址COOKIE参数也不同····你得把最新的COOKIE给弄到自己的pycharm代码请求头上去&＃xff01;

让我们先来找一个单个的子&＃xff0c;如下图所示&＃xff1a;“跨”

这个文字有效信息为&＃xff08;负号加绝对值后&＃xff09;&＃xff1a;宽14像素、所在行数高度最少为2332px(即要找到第一个比2332大的行高&＃xff08;y属性的值&＃xff09;即为该字体所在的行)&＃xff0c;252px代表这个的x值&＃xff0c;x/宽可计算出字体的位置&＃xff01;

从零开始数&＃xff0c;第18个位置&＃xff08;看y&＃61;2355这一行&＃xff09;就是“跨”这个字&＃xff1a;

下面让小夜斗写个代码把这些文本数据爬取下来吧&＃xff1a;

#coding:utf8 import requests import re from lxml import etree import random import parsel ip_list &＃61; [ &＃39;http&＃39;: &＃39;http://8.135.103.42:80&＃39;, &＃39;http&＃39;: &＃39;http://112.80.248.75:80&＃39;, &＃39;http&＃39;: &＃39;http://117.185.17.145:80&＃39;, &＃39;http&＃39;: &＃39;http://140.207.229.170:80&＃39;, &＃39;http&＃39;: &＃39;http://113.214.13.1:1080&＃39; ] # TODO&＃xff1a; 评论区的信息并没有加载到网页当中(请求头问题) # 每一个网页中的COOKIE都是不同滴 # 请求头 headers &＃61; &＃39;Connection&＃39;: &＃39;keep-alive&＃39;, &＃39;Host&＃39;: &＃39;www.dianping.com&＃39;, &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36&＃39;, &＃39;COOKIE&＃39;: &＃39;COOKIE: _lxsdk_cuid&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _lxsdk&＃61;173ec1d725e80-001e5367555543-7e647c65-1fa400-173ec1d725fc8; _hc.v&＃61;9a0b663c-e5a8-7e01-077a-b8d4d7220afa.1597394220; s_ViewType&＃61;10; fspop&＃61;test; ua&＃61;dpuser_5191363077; ctu&＃61;d2a46ed772193566de2cd33b3ff8ea407fbae2e64a575314195403e2ec7f168a; cy&＃61;2; cye&＃61;beijing; cityid&＃61;1409; default_ab&＃61;shopreviewlist%3AA%3A1; _lx_utm&＃61;utm_source%3Dwww.sogou%26utm_medium%3Dorganic; Hm_lvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612158059,1612158139,1612166936,1612327052; thirdtoken&＃61;db6b0a0e-c710-4b3f-a083-b9fed37ad4fd; dper&＃61;7c9cd1b645ff07fe1fd65310a52d0eca3f820f2c408bac5cbe1065d16321ba289d73446448580d71587a5ef790a7f2171b96ef8e556a5adbae82a31a5ce5d975815bfa8720f6cad4c9ebca38ab510dfc842471b9d4044afbb67beed0a2748fe3; ll&＃61;7fd06e815b796be3df069dec7836c3df; ctu&＃61;e8d18ba96a5973c4241e98ea92e6ef18f2b6806cefea83baee63e0dc52d6474b79afc8e7246462cc70d0c6c9c0b01d74; dplet&＃61;186d217716bb58d41809c4132e4b1188; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7&＃61;1612327415; _lxsdk_s&＃61;177662e6072-ce-65b-a68%7C%7C212&＃39; headers2 &＃61; &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36&＃39;, headers3 &＃61; &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36&＃39; # 网址 url &＃61; &＃39;http://www.dianping.com/shop/H9FNPpCqj1Tu98oD/review_all&＃39; # 发起请求 r &＃61; requests.get(url&＃61;url, headers&＃61;headers, proxies&＃61;ip_list.pop(random.randint(0, len(ip_list)-1))) # 如果状态码为200显示正常 if r.status_code &＃61;&＃61; 200: print("访问成功") text &＃61; r.text.encode("gbk", "ignore").decode("gbk", "ignore") # 解决报错双重严格限制 print(text) # 获取存放映射关系css链接 css_url &＃61; re.search(&＃39;, text)[1] # 拼接css_rul total_css_url &＃61; &＃39;http:&＃39; &＃43; css_url print(total_css_url) # TODO: 404 r1&＃xff0c;换个请求头 r1 &＃61; requests.get(url&＃61;total_css_url, headers&＃61;headers2) print(r1.status_code) text1 &＃61; r1.text.encode("gbk", "ignore").decode("gbk", "ignore") # 解决报错双重严格限制 # 保存css文件 # \\&＃xff1a;转译符号 svg_url &＃61; re.findall(r&＃39;svgmtsi\\[class\\^&＃61;"xsw"\\].*?background-image: url\\((.*?)\\)&＃39;, text1) # print(svg_url) # 加一个http total_svg_url &＃61; &＃39;http:&＃39; &＃43; svg_url[0] print(total_svg_url) # 获取所有的文本信息 r2 &＃61; requests.get(url&＃61;total_svg_url, headers&＃61;headers3) text2 &＃61; r2.text.encode("gbk", "ignore").decode("gbk", "ignore") select &＃61; parsel.Selector(text2) # 找到所有的text标签 content_list &＃61; select.css(&＃39;text&＃39;) # print(content_list) # 新建一个空字典 y_text_dict &＃61; for content in content_list: # 获取文本 # print(content.css("text::text").get()) line_text &＃61; content.css("text::text").get() # 获取y属性 # print(content.css("text::attr(y)").get()) line_y &＃61; content.css("text::attr(y)").get() # 保存到字典当中&＃xff08;高度y当作建&＃xff0c;内容文本当作值&＃xff09; y_text_dict[line_y] &＃61; line_text print(y_text_dict) else: print("被反爬了&＃xff01;小夜斗赶紧跑路&＃xff01;")

结果如下图所示&＃xff1a;

这个代码小夜斗新添加了ip代理池&＃xff08;其实就是随便复制粘贴了几个能用的代理放到列表里面&＃xff0c;然后随机取出其中一个&＃xff0c;如果真滴访问量大的小伙伴不建议和小夜斗一样这么做哈&＃xff01;&＃xff09;然后在将其保存到字典中来&＃xff01;

以上&＃xff0c;我们就拿到了我们想要拿到滴css文件、映射文字的字典信息&＃xff01;

三&＃xff1a;字体映射关系找到字体所在位置

首先还得先拿到字体的信息&＃xff08;字体大小width但这个大多是个定值、背景高度y、背景横轴x&＃xff09;&＃xff0c;从上图中可以看出直接从css文件中拿就行&＃xff0c;直接上代码&＃xff01;

# 获取svg字体信息 def svg_character(name_class_list, y_text_dict): # 拿到这个类名对应的字体的高度 character_list &＃61; [] for name_class in name_class_list: try: y &＃61; back_dict[name_class][1] # print(f&＃39;y:y&＃39;) # 拿到这个类名对应的字体的x轴 x &＃61; back_dict[name_class][0] except: print(&＃39;error&＃39;) # print(f&＃39;x:x&＃39;) # 找对应的行数 # 找对应的行数 for index in y_text_dict.keys(): # 第一个比y大的行数 # print(index) if int(index) > int(y): # 计算x的位置, 14为字体的大小 position &＃61; int(int(x) / 14) # print(position) # 从index这一行获取这个字体信息 find_it &＃61; y_text_dict[index][position] # print(y_text_dict[index]) # print(find_it, end&＃61;"->") character_list.append(find_it) # 找到后跳出 break # print(character_list) return character_list

# 正则匹配类名、x坐标、y坐标 background_name_list &＃61; re.findall(r&＃39;\\.(.*?)background:-(.*?).0px -(.*?)\\.0px;&＃39;, text1) print(f&＃39;background_name_list: background_name_list&＃39;)

大众点评可真行&＃xff0c;网页上同一段评论加载下来滴页面竟然三个都不一样&＃xff01;牛的牛的&＃xff01;简直不要太混乱了吧&＃xff01;

页面一&＃xff1a;

页面二&＃xff1a;

页面三&＃xff1a;

问题不大&＃xff0c;经过小夜斗一番瞎操作最后哈哈成功了&＃xff0c;来先上图&＃xff01;丝毫不变的给大众点评上了一课&＃xff0c;就这就这&＃xff1f;大快人心&＃xff01;

列表里面的内容就是小夜斗爬下来的内容&＃xff01;

这是原评论&＃xff0c;大家可以仔细对比一下哈&＃xff01;

哦对了&＃xff0c;小夜斗发现大众点评有两种svg格式的字体反爬&＃xff0c;每天都是换着来的&＃xff01;遇到那种textlength属性的&＃xff0c;那个y值就是

两种映射字体文本获取&＃xff0c;代码如下&＃xff1a;

# 映射文本获取 def mapping_text(flag): # 请求链接 url &＃61; css_info()[0] print(url) # 返回文本 text2 &＃61; post_request(url) # 第一种字体格式 if flag &＃61;&＃61; &＃39;2&＃39;: select &＃61; parsel.Selector(text2) # 找到所有的text标签 content_list &＃61; select.css(&＃39;text&＃39;) # 存放信息滴字典 y_text_dict &＃61; for content in content_list: # 获取文本 # print(content.css("text::text").get()) line_text &＃61; content.css("text::text").get() # 获取y属性 # print(content.css("text::attr(y)").get()) line_y &＃61; content.css("text::attr(y)").get() # 保存到字典当中&＃xff08;高度y当作建&＃xff0c;内容文本当作值&＃xff09; y_text_dict[line_y] &＃61; line_text return y_text_dict # 第二种svg格式 if flag &＃61;&＃61; &＃39;1&＃39;: select &＃61; parsel.Selector(text2) # 找到所有的path标签 path_list &＃61; select.css(&＃39;path&＃39;) print("第二种svg格式") # print(path_list) y_list &＃61; [] for path in path_list: # 获取高度 y &＃61; path.css("path::attr(d)").get().split(&＃39; &＃39;)[1] y_list.append(y) line_text_list &＃61; [] content_list &＃61; select.css(&＃39;textPath&＃39;) for content in content_list: # 获取文本 line_text &＃61; content.css("textPath::text").get() line_text_list.append(line_text) # 存放信息滴字典 y_text_dict &＃61; for k, v in zip(y_list, line_text_list): y_text_dict[k] &＃61; v return y_text_dict

最后最后&＃xff0c;因为我只爬取了一页的评论就是14条&＃xff0c;给大家伙看看成果&＃xff01;评论都保存在了txt文本当中了&＃xff01;

要实现多页爬取很简单&＃xff0c;只要将url拼接一下即可

下面是第三页的url&＃xff1a;形式例如p2、p3这样子滴&＃xff0c;小夜斗出于好奇想攻克这个大众点评&＃xff0c;完整评论信息就不爬取了&＃xff01;

http://www.dianping.com/shop/H9FNPpCqj1Tu98oD/review_all/p3

注意事项&＃xff1a;大众点评对ip的访问很严格&＃xff0c;小夜斗自己弄了3个ip&＃xff0c;还有自己的请求头有两个&＃xff0c;COOKIE信息一定要是当天登录进去滴&＃xff0c;而且必须保证是你要抓取评论的那一页&＃xff1b;然后那个css文件background的class类属性每天都会改变&＃xff0c;经过小夜斗这几天的观察&＃xff0c;字典映射文件就两种方式&＃xff0c;大致方法都一样破解&＃xff0c;只不过两种svg文件的y值放置的位置不一样罢了&＃xff01;

哦对了&＃xff0c;如果用小夜斗源码的同学记得自己更新一下ip&＃xff0c;三个ip不一定都能用&＃xff0c;其中好像就下面这个能用&＃xff01;大家可以自己建立一个ip代理

‘http’: ‘http://113.214.13.1:1080’

然后精简版小夜斗待会儿会分享到自己的公众号&＃xff0c;还没关注滴小伙伴快来滴滴呀&＃xff0c;源码后台回复“006大众点评”即可获得&＃xff01;

请持续关注夜斗小神社&＃xff0c;爬虫路上不迷路&＃xff01;
python逆向爬取网易云评论进行情感分析

《小夜斗滴爬虫入门实战案例》

在这个星球上&＃xff0c;你很重要&＃xff0c;请珍惜你的珍贵! ~~~夜斗小神社

推荐阅读

range
Python瓦片图下载、合并、绘图、标记的代码示例

本文提供了Python瓦片图下载、合并、绘图、标记的代码示例，包括下载代码、多线程下载、图像处理等功能。通过参考geoserver，使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法，供读者参考使用。 ... [详细]

蜡笔小新 2023-12-13 12:14:55
int
开发笔记:加密&json&StringIO模块&BytesIO模块

篇首语：本文由编程笔记#小编为大家整理，主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识，希望对你有一定的参考价值。一、加密加密 ... [详细]

蜡笔小新 2023-12-14 15:18:35
request
使用正则表达式爬取36Kr网站首页新闻的操作步骤和代码示例

本文介绍了使用正则表达式来爬取36Kr网站首页所有新闻的操作步骤和代码示例。通过访问网站、查找关键词、编写代码等步骤，可以获取到网站首页的新闻数据。代码示例使用Python编写，并使用正则表达式来提取所需的数据。详细的操作步骤和代码示例可以参考本文内容。 ... [详细]

蜡笔小新 2023-12-12 19:16:21
post
Python SQLAlchemy库的使用方法详解

本文详细介绍了Python中使用SQLAlchemy库的方法。首先对SQLAlchemy进行了简介，包括其定义、适用的数据库类型等。然后讨论了SQLAlchemy提供的两种主要使用模式，即SQL表达式语言和ORM。针对不同的需求，给出了选择哪种模式的建议。最后，介绍了连接数据库的方法，包括创建SQLAlchemy引擎和执行SQL语句的接口。 ... [详细]

蜡笔小新 2023-12-12 15:23:06
text
如何在HTML中获取鼠标的当前位置

本文介绍了在HTML中获取鼠标当前位置的三种方法，分别是相对于屏幕的位置、相对于窗口的位置以及考虑了页面滚动因素的位置。通过这些方法可以准确获取鼠标的坐标信息。 ... [详细]

蜡笔小新 2023-12-11 13:04:00
text
常用的CSS属性及用法整理

本文整理了常用的CSS属性及用法，包括背景属性、边框属性、尺寸属性、可伸缩框属性、字体属性和文本属性等，方便开发者查阅和使用。 ... [详细]

蜡笔小新 2023-12-09 03:01:43
format
创建ipadWEB应用程序到主屏幕

1.webkit内核中的一些私有的meta标签，这些meta标签在开发webapp时起到非常重要的作用(1) ... [详细]

蜡笔小新 2023-10-17 11:02:41
get
使用 Ubuntu 中的 Python 获取浏览器历史记录

使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]

蜡笔小新 2023-12-14 08:57:59
post
Webmin远程命令执行漏洞复现及防护方法

本文介绍了Webmin远程命令执行漏洞CVE-2019-15107的漏洞详情和复现方法，同时提供了防护方法。漏洞存在于Webmin的找回密码页面中，攻击者无需权限即可注入命令并执行任意系统命令。文章还提供了相关参考链接和搭建靶场的步骤。此外，还指出了参考链接中的数据包不准确的问题，并解释了漏洞触发的条件。最后，给出了防护方法以避免受到该漏洞的攻击。 ... [详细]

蜡笔小新 2023-12-13 16:14:53
text
南邮ctf-web的writeup

本文介绍了南邮ctf-web的writeup，包括签到题和md5 collision。在CTF比赛和渗透测试中，可以通过查看源代码、代码注释、页面隐藏元素、超链接和HTTP响应头部来寻找flag或提示信息。利用PHP弱类型，可以发现md5('QNKCDZO')='0e830400451993494058024219903391'和md5('240610708')='0e462097431906509019562988736854'。 ... [详细]

蜡笔小新 2023-12-13 10:58:55
text
单点登录原理及实现方案详解

本文详细介绍了单点登录的原理及实现方案，其中包括共享Session的方式，以及基于Redis的Session共享方案。同时，还分享了作者在应用环境中所遇到的问题和经验，希望对读者有所帮助。 ... [详细]

蜡笔小新 2023-12-12 19:23:28
ip
网页播放视频的三种实现方式

本文介绍了网页播放视频的三种实现方式，分别是使用html5的video标签、使用flash来播放以及使用object标签。其中，推荐使用html5的video标签来简单播放视频，但有些老的浏览器不支持html5。另外，还可以使用flash来播放视频，需要使用object标签。 ... [详细]

蜡笔小新 2023-12-10 13:24:30
ip
.NetCoreWebApi生成Swagger接口文档的使用方法

本文介绍了使用.NetCoreWebApi生成Swagger接口文档的方法，并详细说明了Swagger的定义和功能。通过使用Swagger，可以实现接口和服务的可视化，方便测试人员进行接口测试。同时，还提供了Github链接和具体的步骤，包括创建WebApi工程、引入swagger的包、配置XML文档文件和跨域处理。通过本文，读者可以了解到如何使用Swagger生成接口文档，并加深对Swagger的理解。 ... [详细]

蜡笔小新 2023-12-09 19:33:41
ip
【爬虫】关于企业信用信息公示系统加速乐最新反爬虫机制

(￣▽￣)~又得半夜修仙了，作为一个爬虫小白，花了3天时间写好的程序，才跑了一个月目标网站就更新了，是有点悲催，还是要只有一天的时间重构。升级后网站的层次结构并没有太多变化，表面上 ... [详细]

蜡笔小新 2023-10-17 19:24:48
post
FIN7后门工具伪装成白帽工具进行传播

fin7,后门,工具,伪装,成,白, ... [详细]

蜡笔小新 2023-10-17 15:15:23

去奥迪店买本驰

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章